Visual prompt engineering for video models
视频模型的视觉提示工程
🧭 视觉提示工程提升视频模型推理
Google DeepMind
自动修改任务图像（视觉提示）可显著提升视频模型推理性能，超过文本提示和测试时扩展
📌 工作参考价值（4 点）
- 商品图像预处理增强理解：借鉴 VIPE，对电商商品主图进行自动风格化（如光影优化、背景真实化），可提升多模态模型在属性抽取、类目识别上的准确率，无需重训模型。
- 测试时输入优化：在不改变模型权重的前提下，仅通过调用图像编辑API在推理前重绘输入，即可低成本提升下游效果，适合广告创意优选、直播封面自适应等场景。
- 视觉 Agent 的输入增强：在多模态 Agent 中，对采集到的画面做轻量预处理（去模糊、风格迁移）可提高后续推理决策的可靠性，作为 Agent 感知流水线的一个即插即用组件。
- 计算高效性：相比文本提示工程或多次采样，VIPE 仅增加一次图像编辑开销，是计算资源友好的提效手段，适合线上实时服务。